Modelo de efectos mixtos, machine learning y deep learning

Las redes neuronales son uno de los tipos de machine learning. Uno popular, pero hay otros también muy buenos. El deep learning es un método moderno de construcción, capacitación y uso de redes neuronales. Básicamente, es una nueva arquitectura.

Las técnicas y métodos de machine learning pueden funcionar con una gran cantidad de datos complejos, de alta dimensión y enormes, y pueden usarse para desarrollar modelos de regresión y clasificación.

En el aprendizaje supervisado, el modelo simplemente aprende a mapear las características de entrada dadas o la variable predictora \(\small x\) y la variable de salida o respuesta \(\small y\) en los conjuntos de datos de entrenamiento. La muestra de entrenamiento actúa como supervisor en el proceso de aprendizaje.

En el aprendizaje supervisado, cuando la variable de salida es un valor categórico o discreto, entonces es clasificación, pero cuando la variable de salida es un valor continuo, entonces es una regresión. Aquí un video sobre esto.

La fórmula simple para explicar el problema de regresión (en el estudio a desarrollar se esta interesado en el problema de regresión) viene dada por la ecuación:

\[\small y = f(x) + b\]

El propósito de la regresión es estimar el valor de la variable respuesta \(\small y\) utilizando la función \(\small f(x)\) a partir de conjuntos de datos de entrada dados y su término de errores.

En la regresión, el modelo aprende de los datos en diversas técnicas para minimizar el sesgo y la varianza hasta que en algún momento la predicción del modelo haya logrado el mejor ajuste.

Se pueden usar muchos algoritmos de regresión de machine learning para predecir la salida continua:

1. Random forest (bosque aleatorio)

Un árbol de decisión (como se pudo observar en la imagen anterior) es una estructura similar a un diagrama de flujo, en la que cada nodo interno representa una prueba sobre un atributo del conjunto de datos, cada rama representa el resultado de la prueba y cada hoja representa una etiqueta de clase.

Así que el algoritmo hará las pruebas sobre los datos, descubriendo cuáles son las características más relevantes del conjunto de datos para predecir un determinado resultado, y separando en consecuencia el conjunto de datos.

El bosque aleatorio se compone de árboles de decisión de distinta profundidad y hojas generadas dada la cantidad de características en los datos. RF utiliza aleatoriamente un subconjunto de características en lugar de todas ellas.

El estimador de regresión de bosque aleatorio es igual a:

\[\small \hat{f^{I}}(x) = \frac{\sum^{I}_{i = 1}t^{*}_{i}(x)}{I}\]

donde \(\small \hat{f^{I}}(x)\) es un estimador de bosque aleatorio, bootstrap individual de la muestra \(\small i\), \(\small I\) es el número total de árboles que representan el número de estimadores, y \(\small t^{*}_{i}(x)\) es la función del árbol de decisión individual que es igual a \(\small t^{*}_{i}(x) = t(X; Z^{*}_{i1},... Z^{*}_{in})\)

donde \(\small Z^{*}_{in} (n = 1, ..., N)\) es la n-ésima muestra de entrenamiento del conjuntos de datos con \(\small x\) características de entrada y respuesta \(\small y\).

El valor óptimo del parámetro de bosque aleatorio, así como el número de ramas, muestras divididas y el nodo de hoja de la muestra, se requiere para averiguar mediante el ajuste de hiperparámetros. Sin embargo, los creadores de este método recomiendan usar \(\small nfeatures = \frac{1}{3}m\) donde \(\small m\) es el número de características de los datos y el nodo dividido mínimo es cinco.

2. Support vector regression (regresión de vector de soporte)

La máquina de vector de soporte (abreviada como SVM) son algoritmos supervisados de machine learning que encuentran un límite o línea que describe efectivamente los datos de entrenamiento, ya sea dando la mayor separación posible entre el límite y los puntos de datos de entrenamiento en cada lado (clasificación) o encontrando la línea lo más cerca posible del mayor número de puntos de entrenamiento (regresión).

Un SVM intenta identificar un límite de decisión óptimo que separe claramente las diferentes clasificaciones de la variable respuesta. El límite de decisión de un SVM está determinado por vectores de soporte. Este admite puntos de vectores que están más cerca del borde de cada clase, los cuales son los puntos más difíciles de clasificar correctamente.

Cuando el conjunto de datos no se puede separar por una línea recta, se suele emplear una función de kernel.

Matemáticamente, la SVR no lineal se formula dado por:

\[\small y = f(x) = \langle w, \varphi(x) \rangle + b\]

donde \(\small w\) es un vector de peso, \(\small \varphi(.)\) es la función de mapeo de características y \(\small b\) es el error independiente e idénticamente distribuido o el término de sesgo. Además, SVR utiliza la función de pérdida \(\small \epsilon\) de Vapnik que define un margen o tolerancia a errores. A mayor valor de \(\small \epsilon\), se toleran los errores más grandes. En contraste, establecer el valor \(\small \epsilon\) en cero significa que cada error será penalizado.

\[\small L_{\epsilon}(y_{i}, f \langle x_{i}, w \rangle) = \begin{cases} \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; 0, \;\;si |y_{i} - f\langle x_{i}, w \rangle| \leqslant \epsilon \\ |y_{i} - f\langle x_{i}, w \rangle|, \;\;si |y_{i} - f\langle x_{i}, w \rangle| \geqslant \epsilon \end{cases} \]

SVR resuelve la regresión lineal en datos n-dimensionales con \(\small n>1\) utilizando la función de pérdida y reduciendo la complejidad del modelo al minimizar el vector \(\small |w|\) que se induce la variable de holgura \(\small \xi_{i}\), para \(\small i = 1, ..., n\) para estimar la desviación de las muestras de entrenamiento ubicadas fuera del margen \(\small \epsilon\), de modo que:

\[\small minimizar\left(\frac{1}{2}||w||^{2} + C \sum_{i}^{n}(\xi_{i} + \xi_{i}^{*}) \right)\]

\[ \small sujeto \; a \begin{cases} y_{i} - f\langle x_{i}, w\rangle - b \leqslant \epsilon + \xi_{i} \\ f\langle x_{i}, w\rangle + b - y_{i} \leqslant \epsilon + \xi_{i}^{*} \\ \xi_{i}, \xi_{i}^{*} \geqslant 0 \end{cases} \]

→

\[ \small |\xi|_{\epsilon} := \begin{cases} \;\;\;\;0 \;\;\;\;\;\;si \; |\xi| \leqslant \epsilon \\ |\xi| - \epsilon \;\;\;\;de \; otra \; manera \end{cases} \]

Donde se introduce \(\small C\) como parámetros de regularización. Se usa como factor de penalización; un valor constante enorme de \(\small C\) puede inducir un sobreajuste, mientras que un valor mínimo de \(\small C\) puede inducir un ajuste insuficiente. La fórmula de optimización se puede transformar en un problema dual \(\small \alpha_{p}\) y \(\small \alpha_{p}^{*}\) para cada punto de datos de la siguiente manera:

\[\small f(x_{i}) = \sum_{p, q = 1}^{n}(\alpha_{pi}-\alpha_{pi}^{*})k(x_{pi}, x_{qi})+b\]

→

donde \(\small \alpha_{i} \geqslant 0\) y \(\small C \geqslant \alpha_{i}^{*}\) y \(\small K(x_{pi}, x_{qi})\) es la función de kernel para \(\small i, p, q = 1, ..., n\). Hay tres kernel de uso común; a saber, la base radial lineal, polinómica y gaussiana.

Es importante seleccionar los hiperparámetros (\(\small C\), \(\small \epsilon\) y \(\small \gamma\), por ejemplo) más apropiados de SVR para garantizar una buena generalización del modelo.

El modelo mixto es un modelo estadístico que comprende efectos fijos y efectos aleatorios.

Matemáticamente, el algoritmo de efectos lineales mixtos está formulado por:

\[\small y_{i} = X_{i}\beta + Z_{i}b_{i} + \epsilon_{i}\]

donde \(\small y_{i} = [y_{i1}, ..., y_{in_{i}}]^{T}\) es un vector para las \(\small n_{i}\) observaciones en el cluster \(\small i\), \(\small X_{i} = [X_{i1}, ..., X_{in_{i}}]^{T}\) es una matriz de características de efectos fijos, \(\small Z_{i} = [Z_{i1}, ..., Z_{in_{i}}]^{T}\) es una matriz de características de efectos aleatorios, \(\small \epsilon_{i} = [\epsilon_{i1}, ..., \epsilon_{in_{i}}]^{T}\) es un de vector error desconocido, \(\small b_{i} = (b_{i1}, ..., b_{in_{i}})^T\) es un vector desconocido de coeficientes de efectos aleatorios en el grupo \(\small i\), y \(\small \beta\) es un vector desconocido de coeficientes de efectos fijos.

En los efectos lineales mixtos de la formula anterior, se supone que \(\small b_{i}\) y \(\small \epsilon_{i}\) son independientes e idénticamentes distribuidos como \(\small b_{i} \sim N (0, D)\) y \(\small \epsilon_{i} \sim N(0, R_{i})\) donde \(\small N\) se refiere a la distribución normal, mientras que \(\small D\) y \(\small R_{i}\) son matrices diagonales de \(\small b_{i}\) y \(\small \epsilon_{i}\) respectivamente.

Se ha propuesto un enfoque para manejar el clúster en los datos, el machine learning de efectos mixtos.

1. Bosque aleatorio de efectos mixtos (MERF)

El algoritmo MERF fue propuesto para abordar mediciones repetibles agrupadas y no balanceadas en los conjuntos de datos. MERF es como el modelo de efectos mixtos, excepto que lo efectos fijos \(\small X_{i}\beta\) en la ecuación son reemplazados por la función aleatoria del bosque \(\small \hat{f^{I}}(x)\) para estimar coeficientes fijos:

\[\small y_{i} = \hat{f^{I}}(x) + Z_{i}b_{i} + \epsilon_{i}\]

2. Regresión de vector de soporte de efectos mixtos

Los datos consisten de 79 vacas que comen tres alimentos diferentes: alimento con cebada, alimento con lupino blanco, y un mixto de cebada y lupino blanco. Se observa luego el contenido proteico de la leche producida en cada vaca en diferentes periodos.

Se uso el enfoque del modelo mixto de efectos aleatorios. Este modelo agregará las diferencias entre diferentes individuos como una parte aleatoria, para reflejar el efecto del individuo en sus mediciones repetidas. Su forma general es:

\[\small y_{i} = X_{i}\beta_{i} + Z_{i}b_{i} + \epsilon_{i}, \;\;\;\; i = 1, 2, ..., N\]

La variable proteína se uso como variable dependiente, y las otras como independientes. Las variables independientes semana y dieta fueron efectos fijos y efectos aleatorios. La expresión del modelo es: →

Aquí lme es una función del modelo mixto de efectos aleatorios lineales y w es el nombre de los datos.

El conjunto de entrenamiento se establece desde la quinta semana, y las observaciones de las otras semanas se usan como conjunto de prueba y se cambia el conjunto de entrenamiento (el conjunto de entrenamiento se incrementa gradualmente) para hacer predicciones.

El error usado en el artículo es el error cuadrático medio normalizado (NMSE):

\[\small NMSE = \frac{(y - \hat y)^2}{(y - \bar y)^2} = \frac{\sum(y - \hat y)^2}{\sum(y - \bar y)^2}\]

En la figura anterior, la predicción de los modelos lineales no es tan buena como la de los métodos de machine learning. Sin embargo, la predicción del modelo lineal funciona mejor a medida que aumenta el conjunto de entrenamiento, siendo muy cercano al método de machine learning cuando se utilizan las primeras 12 semanas como conjunto de entrenamiento para construir el modelo.

No importa el método de machine learning, la predicción de estos datos es similar y es robusta (apenas cambia con el cambio del conjunto de entrenamiento).

El siguiente es el valor de NMSE y el gráfico de NMSE para los modelos empleados en R.

Se puede ver que la predicción de los datos por el método de machine learning es mucho mejor que el método tradicional.

Conlusión

El efecto de predicción de los métodos de machine learning es mucho mejor que el modelo lineal tradicional y el de efectos mixtos. Pero si el propósito de los datos es para inferencia, los métodos tradicionales pueden ser más explicativos. En la práctica, el modelo óptimo debe seleccionarse de acuerdo con las características de los datos.